Verifiable Environments Are LEGO Bricks: Recursive Composition for Reasoning Generalization
可验证环境如乐高积木：递归组合实现推理泛化缩放
🧭 强化学习环境组合与推理泛化
University of Chinese Academy of Sciences · Institute of Software, Chinese Academy of Sciences · Alibaba Group
将可验证环境抽象为可组合积木，通过递归算子自动生成复合环境，突破线性扩展瓶颈，提升LLM推理泛化能力
📌 工作参考价值（4 点）
- Agent 工作流合成：可将单个工具或子任务视为可验证环境，利用 Sequential/Parallel/Select/Sort 等算子自动组合出复杂工作流，用于训练 Agent 多步推理与规划能力。
- 课程学习与难度控制：通过递归深度和算子类型控制组合环境的复杂度，设计从简单任务到复杂多步推理的课程，稳定提升模型泛化性能。
- 数据增强与复用：少量基础任务环境通过组合即可生成大量多样化训练样本，降低人工设计与采集成本，尤其适用于电商场景中的客服对话、多轮谈判等需复杂推理的任务。
- 推理链验证与奖励设计：组合环境本身提供确定性验证，可直接构建 RL 奖励信号，无需额外标注，对构建自监督推理训练管线有直接启发。